Il cervello usa un criterio aritmetico per creare un nuovo comportamento

ROBERTO COLONNA

NOTE E NOTIZIE - Anno XX – 21 gennaio 2023.

Testi pubblicati sul sito www.brainmindlife.org della Società Nazionale di Neuroscienze “Brain, Mind & Life - Italia” (BM&L-Italia). Oltre a notizie o commenti relativi a fatti ed eventi rilevanti per la Società, la sezione “note e notizie” presenta settimanalmente lavori neuroscientifici selezionati fra quelli pubblicati o in corso di pubblicazione sulle maggiori riviste e il cui argomento è oggetto di studio dei soci componenti lo staff dei recensori della Commissione Scientifica della Società.

[Tipologia del testo: RECENSIONE]

Una capacità straordinariamente sviluppata nella specie umana, ma presente in una forma più semplice in molte specie animali, consiste nell’adottare abilità comportamentali acquisite in precedenza e finalizzarle, con eventuali integrazioni o adeguamenti, a compiti nuovi. Tale propensione può comportare la crescita del repertorio comportamentale attraverso l’espansione combinatoria.

La ricerca nel campo dell’Intelligenza Artificiale (AI) sul deep RL (deep reinforcement learning) postula che il riuso di esperienze passate possa drammaticamente migliorare l’apprendimento di compiti non elementari, che possono essere scomposti in sotto-problemi più semplici. L’operazione aritmetica lineare sui valori delle azioni pre-apprese (Q) derivata da ciascun sotto-problema porta alla composizione di una nuova policy quasi ottimale, che può essere trasferita e ulteriormente rifinita e specificamente adattata per un nuovo compito. Rimane tuttavia in gran parte ignoto se, nella realtà naturale, il cervello adotti un modo simile per creare nuovi comportamenti da aggiungere al repertorio posseduto.

Un nuovo studio, sviluppato integralmente da Hiroshi Makino, ha cercato la risposta a questo quesito approdando a un interessante risultato.

(Makino H., et al., Arithmetic value representation for hierarchical behavior composition. Nature Neuroscience 26, 140-149, 2023).

La provenienza dell’autore è la seguente: Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore (Singapore).

Dunque, i sistemi di IA estraggono da un’esperienza passata apprendimenti riutilizzabili e li ricombinano in modo semplice e seguendo un criterio gerarchico, ma non è noto come operino i cervelli animali.

Hiroshi Makino in questo studio dimostra che gli agenti di deep RL imparano a risolvere un nuovo compito composito mediante la combinazione addizionale delle rappresentazioni dei valori d’azione dei sotto-compiti costituenti precedentemente appresi. L’efficacia di apprendimento nel compito composito è stata ulteriormente aumentata dall’introduzione della stocasticità nel comportamento durante il pre-training.

Queste previsioni teoriche sono state testate empiricamente nei topi, nei quali il pre-allenamento ai sotto-compiti migliorava l’apprendimento dei compiti compositi.

L’imaging bifotonico del calcio esteso all’intera corteccia cerebrale dei roditori ha rivelato rappresentazioni neurali analoghe dei valori di azioni combinate, con un apprendimento migliorato quando la variabilità comportamentale era amplificata.

Nell’insieme i risultati ottenuti da Hiroshi Makino, per il cui dettaglio si rinvia alla lettura integrale del testo del lavoro originale, suggeriscono che il cervello compone un nuovo comportamento con una semplice operazione aritmetica sulle rappresentazioni dei valori d’azione acquisiti in precedenza secondo criteri stocastici.

L’autore della nota ringrazia la dottoressa Isabella Floriani per la correzione della bozza e invita alla lettura delle recensioni di argomento connesso che appaiono nella sezione “NOTE E NOTIZIE” del sito (utilizzare il motore interno nella pagina “CERCA”).

Roberto Colonna

BM&L-21 gennaio 2023

www.brainmindlife.org

________________________________________________________________________________

La Società Nazionale di Neuroscienze BM&L-Italia, affiliata alla International Society of Neuroscience, è registrata presso l’Agenzia delle Entrate di Firenze, Ufficio Firenze 1, in data 16 gennaio 2003 con codice fiscale 94098840484, come organizzazione scientifica e culturale non-profit.